Ngọc Sơn sinh ra tại Đồ Sơn, Hải Phòng, nhưng quê quán ở Quảng Nam - Ðà Nẵng. Cha là Phạm Ngọc Thanh, hiệu trưởng trường Sinh viên miền Nam thời kỳ kháng chiến, đồng thời là trưởng đoàn văn công Quân khu 5. Ngọc Sơn sống trong gia đình có 4 anh chị em: chị Thu Hiền, Ngọc Sơn, Ngọc Hải và Ngọc Hà (sinh năm 1974).[7]

Năm 1975, Ngọc Sơn theo bà vào Đà Nẵng. Năm 1977, anh vào Bạc Liêu sinh sống. Mãi đến năm 1987, Ngọc Sơn lên Thành phố Hồ Chí Minh và học trường nghệ thuật sân khấu. Hai năm sau đó, anh chuyển sang học thanh nhạc dân tộc và bước chân vào con đường sân khấu âm nhạc chuyên nghiệp. Anh lập tức trở thành hiện tượng thu hút khán giả bằng những sáng tác đầu tay như Lòng mẹ, Giận hờn, Nhớ về em… Đỉnh điểm là tại Liên hoan ca múa nhạc nhẹ toàn quốc 1989 tại Nha Trang, với nhiều ca sĩ nổi tiếng cùng tham gia, Ngọc Sơn đã trở thành hiện tượng lớn nhất của kỳ Liên hoan này. Anh tham gia với tư cách đại diện cho Đoàn Ca múa Minh Hải. Với bài hát Thuyền và biển, anh gây sửng sốt cho giám khảo, khán giả và đồng nghiệp. Ngoài danh hiệu Ngôi sao Nhạc nhẹ, Ngọc Sơn là ca sĩ duy nhất được trao thêm giải thưởng "Ca sĩ được khán giả yêu thích nhất". Từ đây, anh được các hãng băng nhạc săn đón, các bài hát được sáng tác từ lúc mới đi hát những năm 87 - 88 được anh giới thiệu và nhanh chóng trở thành những bài hit.[8]

Năm 1990, từ chương trình Gala 90, với bài hát "Lòng mẹ" do chính anh sáng tác, Ngọc Sơn trở thành cái tên số 1 với khán giả miền Bắc. Năm 1991, tại Cuộc thi đơn ca nhạc nhẹ chuyên nghiệp toàn quốc, Ngọc Sơn giành giải Nhì[8]. Hàng loạt giải thưởng danh giá cùng những thành công liên tiếp trên sân khấu biểu diễn và băng đĩa giúp Ngọc Sơn trụ vững chắc ở vị trí ca sĩ ăn khách nhất Việt Nam những năm đó. Cho đến nay, các hãng đĩa vẫn nhắc đến tên Ngọc Sơn như một trong những ca sĩ có lượng băng đĩa bán ra nhiều nhất.[8]

Ngày 6 tháng 9 năm 2014, Ngọc Sơn tổ chức buổi trình diễn "Dấu Ấn 13", được đông đảo người hâm mộ ủng hộ[9] và được tường thuật trực tiếp trên sóng kênh VTV9 Đài truyền hình Việt Nam.[10]

Ngày 12/09/2018, Ngọc Sơn thưởng nóng 250 triệu đồng cho U23 Việt Nam.[11]